"""
author：fc
date：  2021/10/4
"""
#
# 文本挖掘1
#
import jieba
sentence="不要慌，总会有突破的"
#sentence="我喜欢上海东方明珠"
w1=jieba.cut(sentence,cut_all=True) # cut_all ：设置模式，全模式
for item in w1:
    print(item)
print("---------------")
w2=jieba.cut(sentence,cut_all=False) # cut_all ：精准模式（默认模式），分词,和上面没区别呀，我的句子含义问题吗？
for item in w2:
    print(item)
print("---------------")
w3=jieba.cut_for_search(sentence) # 搜索引擎模式切分
for item in w3:
    print(item)

# 词性标注
import jieba.posseg
w4=jieba.posseg.cut(sentence)
for item in w4:
    item.word # 调用词语
    item.flag # 调用词性，怎么显示，看词库
    # (a:形容词，n:名词，v:动词，c:连词，nt:机构团体，r:带词，t:时间
    # d:副词，e:叹词，f:方位词，i:成语，m:数次，nr:人名，ns:地名，x:标点符号，
    # vn:动名词，vj：，nz:其他专有名词，u:助词，un:未知名词)
    print(item.flag+"------->"+item.word)

# 加载词典
jieba.load_userdict("../files/txt/jieba_user_dict.txt")

# 更改词频
sentence3="天成科技是最棒的"
jieba.add_word("天成科技") # 添加词语进字典中
jieba.suggest_freq("天成科技",True)
#w5=jieba.posseg.cut(sentence3)
w5=jieba.cut(sentence3)
for item in w5:
    print(item)

# 提取关键词,分析比较火的词语
import jieba.analyse
extract_keywords=jieba.analyse.extract_tags(sentence3,3)  # 提取三个关键词，默认20个
print(extract_keywords)

# 返回词语位置
w6=jieba.tokenize(sentence3,mode='search') # 搜索模式
for item in w6:
    print(item)

# 分析盗墓笔记的词频
txt1=open("../files/txt/txt_similarity/盗墓/盗墓笔记1.txt", encoding='utf-8').read()
tag=jieba.analyse.extract_tags(txt1,30) # 提取文本中出现次数最多的词语
print(tag)